使用合成数据来训练在现实世界数据上实现良好性能的神经网络是一项重要任务,因为它可以减少对昂贵数据注释的需求。然而,合成和现实世界数据具有域间隙。近年来,已经广泛研究了这种差距,也称为域的适应性。通过直接执行两者之间的适应性来缩小源(合成)和目标数据之间的域间隙是具有挑战性的。在这项工作中,我们提出了一个新颖的两阶段框架,用于改进图像数据上的域适应技术。在第一阶段,我们逐步训练一个多尺度神经网络,以从源域到目标域进行图像翻译。我们将新的转换数据表示为“目标中的源”(SIT)。然后,我们将生成的SIT数据插入任何标准UDA方法的输入。该新数据从所需的目标域缩小了域间隙,这有助于应用UDA进一步缩小差距的方法。我们通过与其他领先的UDA和图像对图像翻译技术进行比较来强调方法的有效性,当时用作SIT发电机。此外,我们通过三种用于语义分割的最先进的UDA方法(HRDA,daformer and proda)在两个UDA任务上,GTA5到CityScapes和Synthia to CityScapes来证明我们的框架的改进。
translated by 谷歌翻译
A core process in human cognition is analogical mapping: the ability to identify a similar relational structure between different situations. We introduce a novel task, Visual Analogies of Situation Recognition, adapting the classical word-analogy task into the visual domain. Given a triplet of images, the task is to select an image candidate B' that completes the analogy (A to A' is like B to what?). Unlike previous work on visual analogy that focused on simple image transformations, we tackle complex analogies requiring understanding of scenes. We leverage situation recognition annotations and the CLIP model to generate a large set of 500k candidate analogies. Crowdsourced annotations for a sample of the data indicate that humans agree with the dataset label ~80% of the time (chance level 25%). Furthermore, we use human annotations to create a gold-standard dataset of 3,820 validated analogies. Our experiments demonstrate that state-of-the-art models do well when distractors are chosen randomly (~86%), but struggle with carefully chosen distractors (~53%, compared to 90% human accuracy). We hope our dataset will encourage the development of new analogy-making models. Website: https://vasr-dataset.github.io/
translated by 谷歌翻译
符号音乐分割是将符号旋律分为较小有意义的群体(例如旋律短语)的过程。我们提出了一种无监督的方法来分割符号音乐。提出的模型基于时间预测误差模型的合奏。在训练过程中,每个模型都预测了下一个令牌,以识别音乐短语变化。在测试时,我们执行峰值检测算法以选择候选段。最后,我们汇总了参与合奏的每个模型以预测最终分割的预测。结果表明,在考虑F-SCORE和R-VALUE时,建议的方法在无监督的设置下达到了Essen Folksong数据集的最先进性能。我们还提供消融研究,以更好地评估每个模型组件对最终结果的贡献。正如预期的那样,提出的方法不如监督环境,这为未来的研究提供了改善的空间,考虑到无监督和监督方法之间的差距。
translated by 谷歌翻译
虽然神经语言模型往往对自然语言理解(NLU)任务进行令人惊讶的令人惊讶,但它们的优势和局限性仍然很差。因此,受控的合成任务是用于诊断模型行为的越来越重要的资源。在这项工作中,我们专注于讲故事的理解,是NLU系统的核心竞争力。然而,讲故事的主要综合资源是Babi基准,缺乏可控任务生成的这种系统机制。我们开发Dyna-Babi,一种动态框架,提供对Babi中的任务生成的细粒度控制。我们通过构建一个组成概括的三项新任务来展示我们的想法,这是来自原始基准的重要评估设置。我们测试了为BABI开发的专用模型以及最先进的预训练方法,发现这两种方法都解决了原始任务(> 99%的精度),并且在组成泛化设置中都没有成功地成功地成功,表示原始培训数据的局限性。我们探索了增加原始数据的方法,发现,尽管多样化培训数据比简单地增加数据集尺寸更有用,但它仍然不足以驾驶鲁棒成分泛化(具有<70%的复杂组合物的精度)。我们的结果强调了高度可控任务发生器通过模型和数据开发的良性循环创建强大的NLU系统的重要性。
translated by 谷歌翻译